AWS CLIでS3バケット上の指定したパスのオブジェクトを移動し、ついでにタグを付けるシェルスクリプトを作成してみた

aws s3 mvコマンドでオブジェクトを移動させた後、aws s3api put-object-taggingコマンドでタグを付けるスクリプトを作成しました。

#AWS

#Amazon S3

#Bash

#AWS CLI

nayu.t.s

2023.11.20

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部機械学習チームの鈴木です。

AWS CLIでS3バケット上の指定したパスのオブジェクトを移動し、ついでにタグを付けるという一連の操作をプログラムから実行したいことがありました。

この処理が可能なのか確認するため、自分でシェルスクリプトを作成してみたのでご紹介します。

前提

やりたいこと

以下のように複数のオブジェクトがS3バケット上にあったとします。

移動前

これらを指定した別のディレクトリに移動させます。

移動後

このとき、指定したタグを付与します。今回は１つのタグを付与することとします。

付与されたタグ

初回の移動でできた階層（この例だとdone/）については、再度スクリプトを実行した際に、この階層まで対象にならないように除外する設定もできるようにしたいです。

AWS CLIのバージョン

ローカルからbashスクリプトよりAWS CLIを使いS3オブジェクトの操作を行いました。

AWS CLIのバージョンは以下の通りでした。

aws --version
# aws-cli/2.13.28 Python/3.11.6 Darwin/22.6.0 exe/x86_64 prompt/off

作成したシェルスクリプト

以下のシェルスクリプトを作成しました。

#!/bin/bash
#
# Move S3 Objects and put them tags.

err() {
  echo "[$(date +'%Y-%m-%dT%H:%M:%S%z')]: $*" >&2
}

SOURCE=$1
DESTINATION=$2
EXCLUDE_FOLDER=$3
OBJECT_TAG_KEY=$4
OBJECT_TAG_VALUE=$5
PROFILE=$6


echo "S3 objects source: $SOURCE"
echo "S3 objects destination: $DESTINATION"
echo "S3 objects will be put tagging: key is $OBJECT_TAG_KEY, value is $OBJECT_TAG_VALUE"

# ファイル移動の情報だけ取得できるよう、--no-progressオプションをつける
# --recursiveを指定しているので、移動先が含まれている場合は除外する。
MOVED_OBJECT_URIS="$(aws s3 mv $SOURCE $DESTINATION  --exclude "${EXCLUDE_FOLDER}*" \
                               --recursive  --no-progress --output text \
                               --profile $PROFILE | cut -d ' ' -f 4)"

if [ $? -ne 0 ]; then
  err "Error: failed to move files from $SOURCE to $DESTINATION"
  exit 1
fi

echo "S3 objects have been successfully moved to: $DESTINATION"

# 改行を区切りとして配列に変える
MOVED_OBJECT_URIS_ARR=$(IFS='\n'; (echo "$MOVED_OBJECT_URIS"))

for uri in $MOVED_OBJECT_URIS_ARR; do
  bucket_name="$(echo $uri | cut -d '/' -f 3)"
  object_key="$(echo $uri | cut -d '/' -f 4-)"
  echo "Put tagging to: Bucket_name is $bucket_name, Object key is $object_key"
  aws s3api put-object-tagging --bucket $bucket_name --key $object_key --profile $PROFILE \
                               --tagging "{\"TagSet\": [{ \"Key\": \"$OBJECT_TAG_KEY\", \"Value\": \"$OBJECT_TAG_VALUE\" }]}"
  if [ $? -ne 0 ]; then
    err "Error: failed to put tag to $uri"
    exit 1
  fi
done

例えば、以下のように実行しました。

./move_put_tagging.sh s3://バケット名/sample/ s3://バケット名/sample/done/ done/ test_tag true my_profile

引数は以下の通りです。

第１引数: 移動元のS3オブジェクトプレフィクス
第２引数: 移動先のS3オブジェクトプレフィクス
第３引数: 第１引数で指定したプレフィクスのパスから除外したい値
第４引数: 付与したいタグのキー
第５引数: 付与したいタグのバリュー
第６引数: API実行に使用するプロファイル名 ※プロファイルで認証情報を管理している前提

今回は第３引数で--excludeオプションを使った除外を入れています。除外したいものがない場合は存在しないオブジェクトの値を入れる想定であることにご注意ください。これは単に除外が必要なケースを想定した場合に、これ以上複雑にならない良い実装が思いつきませんでした。

作成したシェルスクリプトのポイント

移動した後のオブジェクトの取得

aws s3api put-object-taggingコマンドで移動後のオブジェクトにタグを付けたいのですが、対象となる移動後のオブジェクトのオブジェクトキーを取得する必要がありました。

これはaws s3 mvコマンドで--no-progressオプションをつけて結果を出力し、cutコマンドで該当部分を取得しました。

aws s3 mvコマンドでは、例えば以下のような文字列が標準出力されました。半角スペース区切りで4列目を抽出できれば、タグ付けに必要な情報は取得できそうです。

move: s3://バケット名/sample/sample.csv to s3://バケット名/sample/done/sample.csv
move: s3://バケット名/sample/sample2.csv to s3://バケット名/sample/done/sample2.csv

コマンド単体で使っているとあまり気にしていなかったのですが、--no-progressオプションがない場合、これ以外にもアクションの実行状況に関する文字列が出力されます。

Completed 183 Bytes/366 Bytes (1.1 KiB/s) with 2 file(s) remaining
Completed 366 Bytes/366 Bytes (1.9 KiB/s) with 2 file(s) remaining
move: s3://バケット名/sample/sample.csv to s3://バケット名/sample/done/sample.csv
Completed 366 Bytes/366 Bytes (1.9 KiB/s) with 1 file(s) remaining
move: s3://バケット名/sample/sample2.csv to s3://バケット名/sample/done/sample2.csv

これだと不要な文字列を抜き出してしまうため、--no-progressオプションを使用することで解決しました。